Goldstein sinh ra ở Sutton, London, trong một gia đình Do Thái người Anh, vào ngày 17 tháng 7 năm 1980.[3] Anh theo học tại Trường Sevenoaks, một trong những trường độc lập lâu đời nhất và đắt nhất ở Vương quốc Anh.[4] Sau khi rời ghế nhà trường, anh theo học tại Đại học Warwick, tốt nghiệp ngành Nghiên cứu Điện ảnh.[3]

Ngay sau đó, Goldstein chuyển đến Marbella, Tây Ban Nha một thời gian ngắn, để làm việc tại một câu lạc bộ thoát y mà cha anh đã mua trong một "cuộc khủng hoảng tuổi trung niên".[3] Goldstein sau đó đã biến trải nghiệm này thành một chương trình hài kịch độc lập có tên "Brett Goldstein Grew Up in A Strip Club", được trình diễn tại Liên hoan Edinburgh Fringe.[3]